有品位的智能体：长时程任务中决策品味的测量与提升
🧭 长时程智能体决策品味测量与蒸馏 ★ 深度解读
City University of Hong Kong · Microsoft
构建 Taste-Bench 从真实 agent 轨迹自动挖掘决策分叉，度量并蒸馏长时程决策品味
📌 工作参考价值（4 点）
- 可在电商/广告/Agent 场景中复用「决策分叉」挖掘思路：从线上 A/B 轨迹或 agent 自我纠错日志自动构造偏好对，无需人工标注，为选品策略、召回方案、创意方向等中间决策建立 taste 评估集。
- 蒸馏时用「见过正确分支的 teacher 生成推理链、student 只看到分叉前上下文」的 privileged-context 方法，适合把历史成功/失败路径的 hindsight 迁移成轻量 advisor 模型，对 query 改写、商品筛选、广告投放策略等长流程决策提供实时建议。
- 两选项判断任务（如新旧策略对比、生成式候选筛选）建议采用正反序两次回答均正确才算对的评分，缓解 LLM 位置偏置；工程实现上可直接借鉴。
- 将 advisor 判断注入 executor 上下文能显著提升端到端成功率（论文中正确建议 +24.4pp、蒸馏学生 +19.1pp），可在推荐 agent 工作流中对关键 fork 注入模型建议。
无知还是无能？构造知识门控、可验证的 LLM Agent 任务
🧭 LLM Agent 任务构造与评估
DataGrids · Shanghai University · Peking University · Northwestern Polytechnical University · Nanyang Technological University
提出知识门控任务构造协议，分离任务指令与私有工件，通过溯源与可执行见证验证知识依赖
📌 工作参考价值（4 点）
- 用于内部 Agent 评测：把任务指令与领域私有规则/参考表/工具算子分离，在“提供 vs 不提供工件”两种条件下保持指令字节一致，可区分 agent 是缺知识还是缺能力，适合电商 SOP、价格策略、客服话术等私有约定场景。
- 用 deterministic solver 或规则语料生成结构化任务的精确 ground truth，避免 LLM judge 波动；对不可单一可执行 oracle 判定的自由文本输出，采用命名 criterion-level rubric 分项考核，比整体打分更稳定。
- 借鉴 leak audit 和 plausible-but-incorrect artifact 作负向控制：在构建企业私有 RAG/Agent 评测集时，检查是否存在数据泄漏，并加入“看似合理但错误”的知识工件，确保模型真的依赖给定知识而非记忆或猜测。
- 小样本配置相对校准（如五试验经验门槛）可低成本淘汰不可靠任务，适合在业务迭代中快速筛选高质量评测样本，不必等全量评估。
跨视图对应是测量干预：Agent评估与信用分配的双侧验证
🧭 Agent 评估 · 对应关系识别与信用分配 ★ 深度解读
Technical University of Munich
把跨视图对应视为测量干预，用双侧验证和全最优解集审计暴露隐藏 tie-breaking 对评估与信用分配的影响
📌 工作参考价值（4 点）
- 在离线评估或 RLHF/GRPO 中使用轨迹匹配、工具调用对齐时，不要只跑一次最优匹配；枚举所有 exact-optima，用 all-optima 证书（只保留所有最优解符号一致的坐标）而非单次 solver 结果，避免隐藏 tie-break 改变诊断或信用符号。
- 对跨视图变换（如 prompt 改写、工具 schema 映射、界面归一化）做双侧验证：null controls 防假敏感，positive controls 防假不变性；仅用 benign 重放校准不足，可能在 benign 数据上重建良好却抹掉真实响应差异。
- 信用分配/优势归一化中，相对标准化、peer normalization 可能因 hidden completion 顺序和样本内依赖导致符号反转；在重要决策上使用鲁棒共同方向或显式声明 completion policy，并记录匹配采样与归一化顺序。
- 检查公共严格指标（如 Tool-Exact-Match）是否因前缀匹配给多余步骤满分；对精确匹配类指标用 max length 归一化做保守修复，避免模型排序被指标缺陷反转。
Skill-Use: LLM 在 Agent 框架中真的能使用技能吗？
🧭 Agent 能力评估 · 渐进式技能使用 ★ 深度解读
East China Normal University · Hong Kong University of Science and Technology · Fudan University · Tencent Hunyuan
提出 Skill-Use 基准，从触发、合规、边界三维度评估 LLM Agent 在渐进式披露下自主检索并遵循技能的能力，发现最高 SU 仅 0.613，触发与合规是独立瓶颈，排名依赖框架。
📌 工作参考价值（4 点）
- 技能触发是首要瓶颈，强化名称与描述的区分度：在 Agent 技能库中，技能名和简短描述直接影响触发率。电商/推荐场景下设计技能时，应使用精确、无歧义的元数据，避免与通用话题重叠，降低“不触发”失败。
- 预加载关键步骤可提升触发，但不宜直接暴露全过程：实验表明预加载技能全文可大幅提高触发，但执行合规性改善有限。工程上可对高价值技能预先在 System Message 中隐式注入其执行约束或决策规则，而不必展示全部 SOP，平衡触发与技能保密性。
- 技能库规模影响以“不调用”为主，而非错误调用：增加技能库容量主要导致 Agent 完全放弃调用技能，而非选错技能。因此监控“技能未被触发”比检测“选错技能”更有价值，可设置兜底策略或主动提示。
- 技能合规性与业务结果非线性相关，需设定最低 SU 阈值：任务完成得分在 SU > 0.5 后才转为正向增益，半吊子遵循反而损害结果。实际部署中应设定内部合规门槛，低于此阈值的技能调用可关闭技能库或回退无技能基线。
AgentStream：流式任务中自进化LLM代理的表现评估
🧭 自进化Agent在流式任务下的评估框架与发现
University of Chinese Academy of Sciences · Microsoft · Institute of Automation, Chinese Academy of Sciences · Nanjing University
提出在流式任务流下评估自进化LLM代理的框架，揭示能力、方法与场景的交互规律
📌 工作参考价值（4 点）
- 电商/搜索推荐的Agent（如对话式导购、广告策略优化）常面临持续变化的任务流，应使用类似AgentStream的流式评估替代单任务评估，以更准确地预测线上效果。
- 自进化的收益存在模型能力阈值：基础模型较弱时，自进化可能无效甚至有害。在业务中引入自进化前，需确保基座模型能力达到一定水平。
- 没有一种自进化方法在所有场景和模型上都最优，建议针对不同业务场景（如搜索Query意图分类、多轮对话推荐）进行组合测试，选择适合的方法。
- 工程设计上，可借鉴AgentStream的任务流配置思路，构建可灵活组合的模拟任务流，用于持续集成评测自进化Agent的稳定性与泛化能力。
实时语音AI听得见声音却听不懂语气
🧭 语音Agent情感智能评估
Together AI · Stanford University
主流实时语音AI在做决策时忽略声音情绪，仅依赖文字内容，形成“情感智能差距”
📌 工作参考价值（4 点）
- 在语音客服或语音推荐Agent中，不能只依赖ASR转写的文本进行决策，必须将声音情绪特征（如语调、语速、重音）作为决策的额外模态输入，否则可能误判用户意图（比如愤怒用户说“没事”而机器人草率结束会话）。
- 对于需要情感敏感的场景（如投诉处理、大额交易确认），可以加入声学情感分类器作为安全阀，当检测到声音情绪与文字语义冲突时触发人工介入或二次确认。
- 评估语音Agent能力时，应专门设计“词汇-韵律冲突”的测试集，避免仅用文字上的准确率作为指标，从而暴露系统是否真正理解语音。
- Prompt工程直接要求模型关注声音情绪有时能改善，但不稳定，更可靠的方案是架构层面融合独立的语音情感表征（如加入专门的prosody encoder），而不是期望单一模型兼顾。
T1-Bench：面向多域真实对话代理的工具调用高保真基准
🧭 多领域多轮工具调用Agent评估基准 ★ 深度解读
Capital One
构建覆盖25个领域、76个工具的自动评估基准，揭示LLM代理在多轮跨域场景下的工具调用短板与一致性挑战
📌 工作参考价值（4 点）
- 对电商客服Agent离线评估可借鉴双代理角色扮演：用户代理按策略生成自然对话，助理代理调用工具，自动生成轨迹并复用，大幅降低人工成本。
- 工具调用评估需分层：工具选择、参数提取、输出精确匹配三级，同时使用Pass@K/Pass^K衡量可靠性与一致性；尤其推荐Pass^K捕获单次成功但不可复现的模型。
- 多域切换时性能坍塌严重（4域以上几乎归零），提示实用系统必须强化上下文保持与状态追踪，可引入论文中的Memory Module缓存工具结果，避免重复调用。
- 工具数量是主要难度源之一（如Food & Dining 15工具），可考虑层次化工具选择或分阶段推理，先按意图聚类再在子域内调用，缓解动作空间爆炸。
从模型缩放转向系统缩放：Agent 系统的框架工程
🧭 Agent 系统架构设计 · 从模型扩展到系统扩展 ★ 深度解读
UC Berkeley
将 Agent 性能瓶颈从单一模型能力提升为包含记忆、上下文、技能路由与治理的全系统设计问题。
📌 工作参考价值（4 点）
- 将记忆从“存储”重新设计为“信任”问题：在电商客服或推荐 Agent 中，对用户偏好、订单状态的记忆需增加时效性、验证性与置信度字段，检索时纳入衰减惩罚，避免过时信息导致错误推荐或承诺。
- 分离式上下文治理：构建上下文构造器，按任务动态组合最小必要信息（持久项目知识 + 实时检索），替代全量拼接历史；可类比推荐系统中只喂入当前会话必要特征与实时用户行为，降低噪声。
- 技能路由与后置校验：为工具和子 Agent 定义显式的后置条件检查，路由策略从固定规则转向在线学习（如基于置信度升级），防止未经验证的输出被直接采纳；这在多 Agent 协作的订单处理、库存查询中可显著减少错误扩散。
- 将评测从终点成功率拓展到过程与长期维度：建立包含轨迹质量、记忆卫生、上下文效率、通信保真度等维度的内部评测集，用于持续监控 Agent 系统退化，而不仅看单次任务完成率，适合推荐系统 A/B 测试中的长期收益与风险衡量。
用于工具型智能体评测的合成数据质量框架SynAE
🧭 工具调用型Agent 合成数据评估 ★ 深度解读
Carnegie Mellon University · Microsoft Research
SynAE从有效性、保真度、多样性三维度系统评估合成多轮工具调用Agent轨迹的质量
📌 工作参考价值（4 点）
- 合成Agent数据质量检查清单：在电商Agent评测中引入SynAE的多轴评估，避免仅靠单一指标（如任务完成率）判断合成数据可用性，特别关注有效性（工具调用是否真的能完成任务）与下游排名一致性（Ranking Divergence）。
- 工具规划保真度指标：借鉴Tool Usage Match、k-Step Planning等指标，量化生成式推荐中多步工具调用序列的合理性，防止合成数据引入不切实际的工具使用模式。
- 指令-响应结构保真度：采用Key Node Dependency和Attribute Match检查合成对话的轮次依赖和统计属性，确保合成指令与真实用户意图分布一致，适用于对话推荐系统。
- 迭代优化合成流程：参考案例中“先诊断再升级”的策略：先用SynAE定位diversity瓶颈，再尝试轻量改写（如关键词替换）快速验证，最后用更高能力模型做全合成，每一步都用SynAE反馈调整，适合电商Agent的合成数据增强。